prompt engineering

• 給予一些提示或指引，讓模型有較多的解讀空間。設計、開發與優化提示來提升FM的輸出品質
• prompt的技巧包含:Instruction、Context(提供外部資訊以引導模型)、Input data(希望模型回應的輸入內容)、Output Indicator(指定輸出類型或格式)

Negative Prompting

• 明確指示模型的回應"不要包含或執行"內容的技巧
• 優點有:避免無關或不適當的內容出現、幫助模型維持在主題而不偏離方向、避免專業術語或細節資料使輸出更清楚理解

prompt優化

• 在AWS中，System prompts(定義模型如何回應)、Temperature(高輸出較有創意，低輸出較保守)、Top P(高考慮更廣泛的單詞，低考慮最可能的單詞)、Top K(限制可能單詞的數量，高選擇更多，低輸出更連貫)、Length(回應的最長長度)、Stop Sequences(指示模型何時停止生成輸出的符號)

prompt latency

• model回應的速度
• 受到model size、model type、input/output token數量
• latency不受Top P、Top K、Temperature影響